Gürcü Kapı (Aliağa) Camii, Erzurum’da görev yapan yeniçeri ocak ağalarından biri olan Zahreci Ali Ağa tarafından 1608 yılında yaptırılmıştır. Bu sebeple camiye Ali Ağa Camii de denilmektedir. Cami 1859 yılında bölgede meydana gelen depremde zarar görse de gerekli onarımlar yapılarak kullanılmaya devam etmiştir. Bu onarımın ardından caminin sivri kemerli kapı alınlığının üzerine küçük bir kitabe eklenmiştir. Kitabenin anlamı şu şekildedir:

“Al ebced nüktesiyle (öp), bir avuç toprak ol, Allah’ın evine gel, karışık gönül olsun pak.”

Gürcü Kapı Camii, ön cephesinde bulunan üç bölümlü son cemaat yeri ile birlikte tek kubbeli olarak inşa edilmiştir. Bu özelliğiyle cami Erzurum’daki diğer camilerle benzerlik göstermektedir. Kubbe bölümü dışarıdan yüksek bir kasnak üzerine oturtulmuş şekilde görünmektedir. Kubbenin dört cephesinde birer pencereye yer verilmiştir. Caminin kuzey ve güney cephelerinde ikişer, doğu ve batı cephelerinde ise birer pencere açılmıştır. Mihrap nişi caminin kıble duvarında bulunmaktadır. Mihrap nişinin yanında ise herhangi bir sanatsal özellik taşımayan ve ahşaptan yapılmış minber yer almaktadır. 

Caminin kuzeybatı köşesinde bulunan ve tuğla malzemeden yapılan minare kesme taştan kare kaide üzerinde silindirik bir şekilde yükselmektedir. Şerefe bölümünün korkuluklarının yapımında taş malzeme kullanılırken, petek kısmında ise tuğla kullanılmıştır. Minareye çıkış caminin içerisinden yapılmaktadır.

Caminin köşe kısımlarında koyu kırmızı kamber taşı; yan duvarlarda moloz taş; kuzey cephesinde, pencere söveleri ve köşelerde ise düzgün kesme taş malzeme tercih edilmiştir.